Local LLMを使うことのメリット

大きく分けて2つある。

API費用

セキュリティ

API費用

生成AIの進化に伴い、OpenAIのGPTシリーズ以外にも、Claude3 OpusやGemini 1.5 Proなど様々なAIモデルが登場した。

しかし気になるのはやはり、API費用である。

LLM開発でちょっとミスると、数千円という世界である。

高性能なモデルを使おうとすると、月何十〜何百万円が発生するかもしれない。

そこでLocal LLMが活躍する。

Local LLMでは、Claude3 Sonnet〜GPT-4相当のLLMも、電気代のみで無限に動かすことができる。

特に生成AIの有料APIを使っているdeveloperや会社にとっては、これが特にでかい。

2024年になり、GPT-4に匹敵するモデルがたくさん登場した。

セキュリティ

日本の企業では、どこにデータがあってどういう通信経路をたどるのか、プライバシーについて気にするケースが多い。

また、LLM APIサービスでは、一定期間はデータを保持して、良くないデータ生成をしていないか？という検閲を必ずしている。

しかし、Local LLMでは、ローカルに持っているデータを投げるだけなので、余計な通信経路を通らない。

余計な検閲をされずに済む

課題

Local LLMを動かすには、高性能なハードウェアや複雑な環境構築が必要なことが多い

Apple Silicon MacはUMAであることから、最低でもメモリが32GBないと、7Bや13B程度の軽量モデルしか動かせない。　　　Local LLMを動かす上での課題